Approaching I/O-optimality for Approximate Attention
逼近近似注意力计算的 I/O 最优性
🧭 I/O 高效近似注意力计算
Huawei Technologies
将近似注意力与 I/O 高效算法结合，使数据传输量几乎线性于序列长度，逼近理论下界
📌 工作参考价值（4 点）
- 在长序列场景（如电商用户行为序列或 Agent 长时间交互记忆）中，可参考其近似框架，用多项式展开或低秩分解替代精确 softmax，大幅减少显存访问与传输量。
- 工程实现上，可将近似注意力与 tile 策略结合，在 GPU 共享内存有限的推理环境下获得比 FlashAttention 更低的 I/O 开销，适合边缘部署。
- 论文提供 I/O 下界分析，可用来评估自研注意力近似方案的数据搬运效率是否接近最优，指导算法选型（例如多项式次数、分块大小）。
- 对于生成式推荐中的语义 ID 序列建模，长上下文注意力是瓶颈，借鉴此近似方法有望在损失微小精度下换取显著的训练/推理速度提升。